Computers as bad social actors

arxiv.org/abs/2302.04720

Computers as Bad Social Actors: Dark Patterns and Anti-Patterns in Interfaces that Act Socially

Abstract

The Computers Are Social Actors paradigm suggests people exhibit social/anthropomorphic biases in their treatment of technology. Such insights have encouraged the design of interfaces that interact with users in more social (chatty or even friend-like) ways. However, in typical dark pattern fashion, social-emotional responses to systems as (seemingly sentient) agents can be harnessed to manipulate user behaviour. An increasingly common example is app notifications that assume person-like tones to persuade or pressure users into compliance. Regardless of being manipulative, difficulties meeting contextual social expectations can make automated social acting seem rude, invasive, tactless, and even disrespectful - constituting ‘social’ anti-patterns. This paper explores ways to improve how automated systems treat people in interactions. We mixed four qualitative methods to elicit user experiences and preferences regarding how automated systems “talk” to/at them. We identify an emerging ‘social’ class of dark and anti-patterns, and propose guidelines for helping (social) interfaces treat users in more respectful, tactful, and autonomy-supportive ways.

  • CASA paradigm에 따르면 사람은 컴퓨터를 의인화하는 경향이 있는데, 이러한 경향이 다크 패턴으로 활용되거나 의도치 않게 무례함 등을 야기하는 안티 패턴 형태를 취하는 경우가 잦음
  • 본 논문은 시스템이 사용자에게 ‘말을 거는 방식’을 분석하고, 사용자를 더 존중하는 방향으로 설계하기 위한 가이드라인을 제시

1. Introduction

개요:

  • 지난 십년 사이에 다크 패턴에 대한 우려가 커지고 있으며 특히 대화형 푸시 알림이 자주 활용됨
  • 미묘한 사회적 관습을 어기는 경우 의도치 않게 무례한 UI가 되기도 함 (안티 패턴)
  • 사용자를 존중하는 인터페이스에 대한 논의가 있으나, 구체적인 맥락적/디자인적 요소에 대해 명시적으로 분석된 바 없음

Research questions:

  • RQ1: 사람들은 어떤 소셜 디자인 패턴을 조작적 또는 자율성 침해라 느끼는가? 왜 그런가?
  • RQ2: 사람들은 어떤 종류의 소셜 디자인 패턴이 불쾌하다고 생각하는가? 왜 그런가?
  • RQ3: 사람들이 선호하는 시스템의 ‘말하기’ 방식의 기준은?
  • RQ4: 위 선호에 영향을 주는 맥락적 요소는?

논문의 기여:

  1. 새롭게 나타나고 있는 소셜 다크 패턴 범주를 식별하고 특징지음
  2. CASA 패러다임이 언제/왜 소셜 안티 패턴 형태를 띄게 되는지를 정성 연구를 통해 분석
  3. 안티 패턴을 방지하기 위한 가이드라인을 제시
  4. HCI 분야에서 최근에 제안된 ‘존중’이라는 가치와 관련하여, 소셜 인터페이스에 있어서 ‘존중’이 어떤 의미인지 제안

2. Background and Related Work

2.1. When is social acting (in)appropriate?

2.2. Distinguishing nudges, dark and anti-patterns

  • 넛지: 원래의 뜻은 선택권을 전혀 제한하지도 않고 경제적 인센티브를 크게 바꾸지도 않는 형태의 윤리적이고 가부장주의적인 개입.
  • 다크 패턴: 넛지 또는 강압 등 다양한 방법으로 사용자로 하여금 원래는 하지 않았을 행동을 하도록 만드는 전략. 대부분의 논의가 GUI에 치중된 면이 있음. 최근에는 로봇, AUI/VUI 등 더 다양한 분야에 대한 논의로 확대되고 있음.
  • 안티 패턴: 의도치 않게 부정적 결과를 야기하는 디자인 패턴.

2.3. Respect as a value in HCI

  • 존중은 사람 사이의 관계에 대한 것으로 여겨졌으나 HCI에서도 중요한 가치로 떠오르고 있음.
  • 공정하고 정의롭고 안전한 시스템도 때로는 착취적이거나 강압적이거나 규범에 어긋날 수 있음.

3. Identifying ‘Social’ Forms of Dark and Anti-Patterns

  • Lacey and Caudwell: ‘귀여운’ 로봇은 다크 패턴일 수 있음. 사용자와 강력한 정서적 유대를 형성하여 프라이버시 침해 등 잠재적으로 해로운 문제를 인식하지 못하게 유도.
  • Shamsudhin and Jotterand: 소셜 로봇 디자인은 본질적으로 설득적 디자인.
  • 소셜 안티 패턴에 대한 저자들의 정의: 소셜 디자인 패턴이 잘못 적용되거나 부적절한 맥락에서 사용되어 의도하지 않은 부정적인 경험을 유발하는 것

4. Methods

  • 4.1. 스마트폰 이용자 83명을 대상으로 탐색적 서베이를 수행. 경험을 회상하게 하는 열린 질문들.
  • 4.2. 서베이를 완료한 24명 중 동의한 11명을 추려서 경험 샘플링 방법으로 일주일 간 데이터 수집.
  • 4.3. 반-구조화된 인터뷰. ESM 후 각 참여자별로 15-30분 간 온라인 미팅을 진행.
  • 4.4. 탐색 워크샵. 마이크로소프트 팀즈와 미로를 이용하여 3-4명 그룹으로 워크샵을 진행.

5. Results and Analysis

  • ‘Social’ dark patterns: manipulative uses of social cues (RQ1)
  • ‘Social’ anti-patterns: counterproductive uses of social cues (RQ2)
  • Participant suggestions for improved social acting (RQ3, RQ4)

6. Discussion and Implications

The misuse and abuse of ‘social’ design patterns

Towards a more respectful approach to CASA

  • Be transparent about intentions and capacities.
  • Offer users the means to negotiate how they are treated.
  • Don’t help without being asked to.
  • Don’t pigeonhole users
  • Don’t breach personal boundaries

7. Limitations and Future Work

  • Our participant pool was limited to those aged 18-60 in English-speaking countries
  • Another potential limitation stems from anchoring a large part of our investigation on smartphone notifications
  • There is a significant risk, as with any qualitative study, of investigator bias

8. Conclusion

Research related to CASA has encouraged interaction designers to make systems act in increasingly socially-conforming (chatty, even friend-like) ways to elicit favourable responses from users. However, researchers are increasingly noticing backfiring effects of using automated forms of social acting: in the wrong context, or without the appropriate level of social nuance, even well-intentioned, friendly behaviour can be experienced badly. This paper contributes to the literature on dark patterns/nudging by identifying and characterising an emerging ‘social’ class of dark patterns. Drawing from a series of qualitative engagements with end-users, we critically engage with CASA research by proposing when, and why, automated forms of social acting may backfire–constituting ‘social’ anti-patterns. Based on end-user preferences and suggestions, we also proposed guidelines for interaction designers to help prevent undesirable forms of automated social acting. Finally, building on recent suggestions to introduce ‘respect’ as a value in HCI, we offer user-led advice on what it may mean for (socially) interactive systems to treat people respectfully. Overall, we hope our work inspires serious discussions on improving how interfaces treat people in interactions.

2024 © ak